Hồ Duy Dung xuất thân là người Định Viễn. Năm 15 tuổi, Hồ Duy Dung đầu quân cho Chu Nguyên Chương khi ông đánh vào Hòa Châu. Xuất thân là kẻ có chữ nghĩa, họ Hồ rất nhanh đã trở thành “cán bút” cho nhiều tướng soái trong Chu phủ.

Khi còn trẻ, Hồ Duy Dung nhờ gặp thời nên được làm Tri huyện Ninh Quốc (khi đó tri huyện là chức quan ở mức “hạ cấp”).

Nhờ vơ vét của cải một cách khôn ngoan, lại biết mua đường quan lộ, họ Hồ đã dâng lên thủ hạ thân tín của Chu Nguyên Chương là Lý Thiện Trường 200 lượng vàng để lên trung ương làm chức Thái Trường Khanh. Sau đó, Hồ Duy Dung tiếp tục gả cháu gái cho cháu trai của Lý Thiện Trường nhằm mục đích kết thông gia với nhà họ Lý để tạo phe phái gia tăng thế lực.

Sau khi Lý Thiện Trường cáo ốm từ quan, Chu Nguyên Chương bắt đầu tìm kiếm người kế nhiệm chức vị Tể tướng đương triều. Khi bàn bạc với Lưu Bá Ôn, Chu Nguyên Chương khi nhắc tới cái tên Hồ Duy Dung, Lưu Bá Ôn phản đối cật lực, cho rằng họ Hồ “nhỏ bé không thể làm nên đại sự”. Công bằng mà nói, Hồ Duy Dung mặc dù “ngoại hình dù nhỏ bé”, nhưng xét về tâm cơ, thủ đoạn thì lại là một “lão hổ”.

Lý Thiện Trường khi đó cật lực đề cử Hồ Duy Dung với Chu Nguyên Chương. Năm Hồng vũ thứ 6, Hồ Duy Dung thuận lợi nhậm chức Thừa tướng.

Được vài năm, Hồ Duy Dung bắt đầu lộng quyền: “Từ việc giết người, thăng chức, bãi quan… không tâu lên Hoàng đế. Chuyện trong ngoài trước hết đều qua tay Tể tướng. Phàm là tấu chương bất lợi cho mình đều đem bỏ.” Vì vậy “quan lại bốn phương từ ngựa quý, trân bảo, vàng bạc, lụa là… đều đem tới biếu, nhiều không kể xiết.”

Lợi dụng chức vị Tể tướng, Hồ Duy Dung không những “một tay che trời”, mà còn tiến hành thanh trừng các đối thủ. Họ Hồ từng đổ oan cho Đại tướng quân Từ Đạt tội mưu phản, sai ngự y lén bỏ thuốc hạ độc đại thần Lưu Bá Ôn. Trong thời gian từ lúc cùng Chu Nguyên Chương khởi nghĩa chống nhà Nguyên giành giang sơn đến lúc làm quan, ông có mối mâu thuẫn truyền kiếp với Lưu Bá Ôn (tên thật Lưu Cơ), là Ngự sử trung thừa kiêm Thái sư lệnh, tước Thành Ý Bá, cũng là một bậc công thần khai quốc của Đại Minh. Hồ Duy Dung nhiều lần lập mưu hãm hại nhưng không thành. Năm 1375, Lưu Bá Ôn mất, tương truyền do Hồ Duy Dung đầu độc. Sau đó, Hồ Duy Dung âm mưu làm phản.